REVA: Reusable Evidence View Aggregation for Context-Efficient RAG Serving
REVA:可复用证据视图聚合实现上下文高效 RAG 服务
🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读
VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA
挖掘历史查询-文档注意力聚合为可复用证据视图,以极低在线开销实现高质量 RAG 上下文压缩
📌 工作参考价值(4 点)
- 电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高,可离线挖掘目标 LLM 对文档的注意力,构建文档级 evidence score store,线上只做轻量视图渲染,将压缩延迟从百 ms 级降到几十 ms。
- 借鉴 word-unit 聚合:不直接存储 token 级分数,而是合并为可读词单元(保护价格、型号、日期等短结构化片段),避免输出碎片化,便于审计与 Debug。
- 采用 budget-agnostic 的 score store:同一份文档分数支持不同 prompt 预算;local 等额配额是默认安全策略,global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
- 注意兼容性 key(generator/tokenizer/template/corpus version),避免跨模型或语料版本错误复用分数;可用异步更新和指数衰减应对 query 分布漂移。